Пару лет назад мне предложили прочитать лекцию о машинном обучении, и я назвал её «Конец искусственного интеллекта». Организаторы удивились: как же так, ведь все вокруг только и говорят об огромных перспективах ИИ... Увы, отвечал я, перспективы почти закончились, теперь нам предстоит совсем другая эпоха – эпоха КИИ (Косяков Искусственного Интеллекта).
В этом году демонстрировать наступление КИИ стало проще: многие мои знакомые столкнулись с ботом «Сбербанка». Людей шокирует, что бот даёт им абсолютно бессмысленные ответы, но при этом не хочет переключать на оператора-человека. «Ну, разве это проблема, – говорю я друзьям. – Вон, бот Тинькоффа вообще предлагал людям пальцы отрезать...».
Перегретые ожидания в этой сфере порождены голливудскими фантастами и пафосной рекламой IT-корпораций, которая построена на той же фантастике, но при этом скрывает от публики целый спектр реальных проблем машинного обучения. Вот первая из них: никаких особых прорывов в области алгоритмов ИИ в этом веке не произошло, практически все используемые алгоритмы – из 80-х годов прошлого века. А нынешний бум вокруг машинного обучения связан с тем, что появление Интернета дало возможность получать и обрабатывать огромные массивы данных.
Но, как известно, количество не всегда переходит в качество. Бот Тинькоффа, предлагавший «отрезать пальцы», обучался на открытых данных из Интернета. Однако Интернет стремительно замусоривается. Да, можно нанять целую армию специальных людей, которые будут постоянно обучать систему, как это делают разработчики говорящих ассистентов Amazon, Apple и Microsoft. Но тогда вдруг оказывается, что ваш ИИ-ассистент не автономен, что он отправляет записи ваших разговоров кому-то на прослушку. В ответ ужесточаются законы о персональных данных – и вот уже перекрыли боту кислород.
Идём дальше. Выход ИИ из чистых лабораторий в реальный мир увеличивает число ошибок в разы. А сколько раз ему вообще можно ошибаться? Пресс-служба аэропорта Домодедово однажды сообщила о своей системе распознавания лиц: «точность идентификации по результатам испытания составила более 90%». В переводе на русский язык это 91%. Это значит, что примерно каждый десятый будет опознан неверно: мирного гражданина могут принять за преступника. Годовой пассажиропоток в Домодедово – более 20 миллионов человек. Из них два миллиона надо задержать, да?
И это, кстати, ещё небольшая ошибка – скорее всего, «испытания» в Домодедове были «лабораторные». А вот на практике, например в Лондоне, полицейская система распознавания лиц ошибается то ли в 81% случаев, то ли даже в 98%. Высокие проценты ложных срабатываний в «боевых» условиях – одна из главных причин, почему пафосные новости о внедрении систем распознавания лиц через какое-то время сменяются новостями о том, как их отменяют или запрещают (как произошло во многих американских городах в последние два года).
А может, надо просто использовать компьютеры помощней? Увы, есть проблемы, которые таким способом не решаются. Представьте, что банковская система кредитного скоринга обучается на выборке, согласно которой мужчины вдвое чаще оказываются неспособны выплатить кредит, чем женщины. Тут нет ошибки машинного обучения, это реальный статистический факт. Но это значит, что при прочих равных параметрах система может дать кредит женщине, а мужчине откажет. И это ещё довольно лёгкий косяк: здесь мы хотя бы знаем сомнительный параметр. Но в современных системах машинного обучения счёт параметров идёт на миллионы. Ошибку сложно заметить, а ещё сложней – интерпретировать.
Перечислять все виды атак не буду, два года назад эксперты «Лаборатории Касперского» выпустили отдельную статью на эту тему, с показательными примерами успешных взломов. Остановимся лишь на рекомендациях этой статьи: работают ли они сейчас? Например, предлагается сократить зависимость ИИ-решений от чужих данных и сторонних разработок. Но история с «отрезанными пальцами Тинькоффа» показывает, что воз и ныне там.
Или вот ещё полезный совет: «Аудиты безопасности и пентесты систем машинного обучения (ML red-teaming) должны стать необходимой практикой при разработке ML-систем». Но опять же, много ли вы знаете компаний, которые предлагают такую услугу: проверка систем ИИ на прочность? Я таких услуг в России не видел. А значит, косяков будет ещё больше.
Впрочем, есть другой выход. Всё сказанное выше предполагает, что вас очень волнуют косяки. Но в жизни человека есть сферы, где точность не важна. Скажем, вы идёте на выставку современного искусства, где люди пялятся на стены с разноцветными пятнами. Можно ли заменить все красные пятна на зелёные? Конечно, можно! Никто не пострадает. А в кино, в книге или в компьютерной игре можно нарисовать осьминога с 11 щупальцами вместо 8 – и ничего! Значит, этим вполне могут заниматься боты.
AlphaGo
Кстати, главный современный пример интеллектуальности машин – из той же развлекательной оперы: компания Google потратила миллиард долларов на разработку игрового автомата Alpha Go. Абстрактная настольная игра не имеет никакого практического применения и никак не влияет на нашу реальную жизнь. Ну да, в такое можно и с роботом играть.
Таким образом, с помощью искусственного интеллекта многие люди могут обнаружить, что значительная часть их жизни проходит в необязательных развлечениях. И если вас раздражает тупой бот какой-то компании, вы уже знаете правильный ответ: это развлекательная компания. А когда вам понадобятся нормальные услуги, вы пойдёте к реальному бизнесу, вот и всё.
Алексей Андреев, эксперт «Лаборатории Касперского»
Подпишись: